誤差逆伝播法（バックプロパゲーション） | Chapter 3 Deep Learning
https://youtu.be/SgBDx8DqBZw?si=NRDcg51W8-Rg1Kd6
ある学習データについてのコストはネットワークの出力と本来欲しかった出力の各要素の差を2乗して足し合わせたもの
これを何万もの学習データについて行い、結果を平均するとネットワーク全体のコストが求められる
勾配ベクトルの各成分の絶対値の大きさが対応する重みやバイアスにコスト関数がどれだけ影響されやすいかを示している ネットワーク全体のコストを効率良く減らしていきたい
どの部分の値を動かすと効率がいいか？という問いが発生する
出力の計算には重みとバイアス、前の層のすべてのアクティベーションを活性化関数により押しつぶしたもの つまり、2乗和誤差の実際の値の方には重みとバイアス、アクティベーションが含まれる
活性化している（値の大きい）ニューロンは大きな値を持つため、与える影響が大きい
正の重みをもつ暗いニューロン、負の重みをもつ明るいニューロンは変化する値が大きいため、与える影響が大きい
アクティベーションは直接変えることはできない。どのように変化すべきかを記録する
すべての予測値と実際の値に対して同じ計算をし、その平均を取得
これによりそれぞれの重みをどのように変化させるべきかのリストができる
これが誤差逆伝播法